在YARN上提交打包的作业之后,提示已杀死,这是为什么呢? | 您所在的位置:网站首页 › yarn 打包 › 在YARN上提交打包的作业之后,提示已杀死,这是为什么呢? |
报错情况 在YARN上看到的是这样,提交了很多次都是succeeded 然而HDFS上并没有相应的输出文件,只有这样一个文件夹,里面的内容也是空的 ///////////////////////////////// 修改为500M后的异常情况图 先是出现了这样的WARN,大概重复了5 6次 然后就是下面的ERROR 接上图 接上图 接上图 ----------------------- 再次尝试后
我先试了一下Pi的例子,是可以出结果的(但是executor-memory设置为500M的话会失败,设置为2G可以成功运行,下一张也有YARN上记录的Pi失败任务) 然后我再提交项目中的作业任务(内存设置的2G,Yarn和Spark都开启了),会在这个进度条一直卡住一分钟多,然后告诉我失败 这是Yarn上的application具体信息 控制台信息 //////////////////////////// 代码和脚本
这是我的代码,没有找到您说的new SparkConf,是这个原因吗? 这是提交作业的脚本 /////////////////////// 1G + 2个executor |
CopyRight 2018-2019 实验室设备网 版权所有 |